2024.7.1 RNNごく基礎（未完成）【torch】

code:rnn1.py

import torch as pt

import torch.nn as nn

rnn = nn.RNN(

input_size = 2, # 入力信号の特徴数

hidden_size = 3, # 隠れ層のノード数

num_layers = 1, # リカレント層の数

nonlinearity = 'tanh', # 活性化関数

bias = True, # バイアスの有無

batch_first = False,

dropout = 0.0,

bidirectional = False,

device = None,

dtype = None

)

p = list(rnn.parameters()) # (A)

(A) ジェネレータとして保持されている重み行列をリスト型として取り出している。

今回確認したのは４つの引数

input_size

hidden_size

num_layer

bias

まず、num_layer = 0ではプログラムは動作しなかった。

（実験１）input=2, hidden=3, num_layer=1, bias=False

こんなネットを構成している。

$ h(t) = \tanh (W x(t) + R h(t-1))

code:rnn1.py

import torch.nn as nn

rnn = nn.RNN(

input_size = 2, # 入力される特徴量の数

hidden_size = 3, # 隠れ層のノード数

num_layers = 1, # リカレントレイヤーの数

bias = False,

)

W = list(rnn.parameters()) # (1)

print(W)

code:result1.txt

# W_x

# W_h

このネットは２つの重みを有する。

を示している。バイアスは無い。

当然ながら全てrequires_grad = True となっている。

厳密には、各重みは torch.tensor 型ではなく「torch.nn.parameter.Parameter」型である。

上記のネットにデータを入力してみる。

code:rnn2.py

import torch as pt

import torch.nn as nn

rnn = nn.RNN(input_size = 2, hidden_size = 3, num_layers = 1, bias = False)

W = list(rnn.parameters()) # (1)

y = rnn(x)

# 2 <class 'tuple'>

出力 y はタプルに格納されていた。

code:result2.txt

2 <class 'tuple'>

（実験２）input=2, hidden=3, num_layer=1, bias=True

実験１に対してバイアスを与えたときの結果。数式で表すと以下の通り

$ h(t) = f( Wx(t) + \mathbf{b}_W + R h(t-1) + \mathbf{b}_R )

code:result2.py

# W_x

# W_h

# b_x

# b_h

このネットは４つの重みを有する。

（実験３）リカレント層数を２にする

bias はFalseとする。

$ h(t) = f(W_x x(t) + W_{h1} h(t-1))

code:rnn3.py

import torch.nn as nn

rnn = nn.RNN(

input_size = 2, # 入力される特徴量の数

hidden_size = 3, # 隠れ層のノード数

num_layers = 3, # リカレントレイヤーの数

bias = False,

)

p = list(rnn.parameters()) # (1)

print(p)